[速報] Amazon Kinesis Data Firehose Amazon OpenSearch Serverless へのデータストリーム配信をサポートしました! #reinvent
データアナリティクス事業本部のコンサルティングチームの石川です。Amazon Kinesis Data Firehose(KDF)から、先日発表されたAmazon OpenSearch Serverlessへデータストリーム配信のサポートしました。
OpenSearch Serverlessへデータストリーム配信とは
アプリケーション(データプロデューサー)がデータをKinesis Data Firehoseへ送信、Kinesis Data Firehose配信ストリーム上のレコードをOpenSearch Service クラスターに配信されます。
Amazon Kinesis コンソールで配信ストリームを作成して、数回クリックするだけで、独自のデータ取り込みおよび配信インフラストラクチャを構築および管理することなく、Amazon OpenSearch Serverless にストリーミングデータを簡単に取り込み、変換し、確実に配信できるようになります。
データストリーム配信の流れ
OpenSearch Service の宛先の場合、ストリーミング データは OpenSearch Service クラスターに配信され、オプションで同時にS3バケットにバックアップできます。OpenSearch ServiceとKinesis Data Firehoseと組み合わせることで簡単かつ安全にデータの配信が可能になります。
最後に
数時間前に発表されたばかりの Amazon OpenSearch Serverlessへの配信がサポートされました。 OpenSearch Serverlessは、データのIndexingとQuery、データ保存量に応じて課金が発生します。Kinesis Data Firehoseは、特定のサイズまたは特定の期間バッファリングしてから、宛先に配信ので、着信ストリーミングデータをBuffer Size(MB)やBuffer Interval(秒)をチューニングするのが良さそうです。